Salsa dance learning evaluation and motion analysis in gamified virtual reality environment
https://youtu.be/PItSlnj4wAQ
Multimedia Tools and Applications volume 79, pages24621–24643(2020)Cite this article
188 Accesses
Metricsdetails
Abstract
Learning couple dance such as salsa is challenging as it requires to understand and assimilate all the dance skills (guidance, rhythm, style) correctly. Salsa is traditionally learned by attending a dancing class with a teacher and practice with a partner, the difficulty to access such classes though, and the variability of dance environment can impact the learning process. Understanding how people learn using a virtual reality platform could bring interesting knowledge in motion analysis and can be the first step toward a complementary learning system at home. In this paper, we propose an interactive learning application in the form of a virtual reality game, that aims to help the user to improve its salsa dancing skills. The application was designed upon previous literature and expert discussion and has different components that simulate salsa dance: A virtual partner with interactive control to dance with, visual and haptic feedback, and a game mechanic with dance tasks. This application is tested on a two-class panel of 20 regular and 20 non-dancers, and their learning is evaluated and analyzed through the extraction of Musical Motion Features and the Laban Motion Analysis system. Both motion analysis frameworks were compared prior and after training and show a convergence of the profile of non-dancer toward the profile of regular dancers, which validates the learning process. The work presented here has profound implications for future studies of motion analysis, couple dance learning, and human-human interaction.
サルサなどのカップルダンスを学ぶことは、すべてのダンススキル（指導、リズム、スタイル）を正しく理解し、同化する必要があるため、挑戦的です。サルサは伝統的に先生と一緒にダンス教室に通い、パートナーと一緒に練習することで習得してきましたが、そのような教室に通うことの難しさや、ダンス環境の多様性が学習プロセスに影響を与える可能性があります。仮想現実のプラットフォームを用いて人々がどのように学習するのかを理解することは，運動解析の分野で興味深い知見をもたらし，家庭での補完的な学習システムへの第一歩となる可能性がある．本論文では，サルサダンスのスキル向上を目的とした，バーチャルリアリティゲームの形をしたインタラクティブな学習アプリケーションを提案する．このアプリケーションは、以前の文献や専門家の議論に基づいて設計され、サルサダンスをシミュレートするさまざまなコンポーネントを持っています。踊るためのインタラクティブなコントロールを持つ仮想パートナー、視覚と触覚のフィードバック、そしてダンスのタスクを持つゲームメカニックです。このアプリケーションは、20人の常連と20人の非常連の2クラスのパネルでテストされ、彼らの学習は、Musical Motion Featuresの抽出とLaban Motion Analysisシステムを通して評価・分析されます。両方の動き解析フレームワークを訓練前と訓練後に比較したところ、非ダンサーのプロファイルが正規のダンサーのプロファイルに収束し、学習プロセスを検証することができました。今回発表された研究は、運動分析、カップルダンス学習、人間と人間の相互作用に関する今後の研究に大きな意味を持っています。
概要
サルサは、世界中で人気のある非常に社交的なカップルダンスである．サルサの習得や学習には以下の課題がある．
- 大人数のクラスだと，個々の生徒の間違いを発見するのが難しい．
- 現地で他のパートナーと練習する必要があるが、施設が不十分であったり、練習相手がいない（ダンスパートナーがいない、または個人の時間の都合で）という課題がある．
- 気分、ストレス、疲労、その他の社会的な外的要因など、他のパラメータが研究に影響を与える可能性がある。
- 他の義務（学業や仕事など）による時間や場所の制約。
研究目的
サルサの練習をシミュレートするバーチャルリアリティ（VR）ゲームを通じて，ユーザのサルサダンスのスキルを向上させる．またそのガイドを示す．
サルサの習得には，リズム，誘導，流動性，共有，スタイリング，音楽性の6つの基準が重要．
本研究では，ガイダンス，リズム，スタイルという3つの主要なスキルの評価に焦点を当てている．
手法
インタラクティブな環境で仮想のパートナーと一緒に踊り、カップルで踊ることをシミュレートするVRアプリケーションを設計した．
ユーザーは、ハンドコントローラ付きのVRヘッドセットを装着し、仮想のパートナーと一緒にパフォーマンスを行う．
ユーザーの動きは光学式モーションキャプチャーシステムを用いて記録され、その動きはInverse Kinematicsを用いて仮想アバターとリンクされている．
ユーザは一連のサルサの動作を行い，システムが総合的なスコアを返す．
主に3つのコンポーネントで構成されるフレームワーク：
VRサルサ・シミュレータ：
実際のサルサの練習に基づいたVRアプリケーション．サルサの重要なポイントは、それぞれのパートナーの役割．リーダーとフォロワーが一人ずついる．2人とも独立してリズムに合わせて踊るが，リーダーは手や胸などの「つなぎ」の道具を使ってフォロワーの動きに影響を与え、フォロワーはその指示を聞いて、それに合わせて踊りのパターンを変える．
このゲームでは、ユーザはリーダーの役割を担い、バーチャルなパートナー（VP）がフォロワーになる．実際のダンスシーンと同じように、バーチャルパートナーの行動は、音楽のテンポに合わせて体や足を動かすことと、ユーザーの指示に反応することの2つのアニメーションレイヤーが並行して動作するように構成されている．
ゲーム化された学習システム：
VRアプリケーションは，ゲームエンジンのUnity3Dで開発されている．
タスクの難易度を変え，トレーニングを効果的にするために，テンポの異なる8つの動作を準備し，基準と比較して，動作が適切に成功した回数に応じて、最終スコアという形でフィードバックが計算され、セッションの終わりに提示されるゲーム性を持たせている．
分析のためのモーションレコーディング：
動作分析により、ダンススキルを向上させる学習システムの能力を評価し、システムデザインの妥当性を評価する．
ユーザの動きは、デフォルトのVRセットアップ（手と頭）と、腰と足に配置された追加のトラッキングマーカーを介してキャプチャされている．
実験
VRプラットフォームがユーザのスキル向上に役立つかを調査．
トレーニングの初期段階でMMFとLMAの特徴を計算し、トレーニング終了時に対応する特徴と比較する．ユーザのサルサ学習の向上を支援する能力を評価するために、経験の異なる2つのカテゴリーのダンサーを使って実験を行った．
- ノンダンサー：サルサダンスのレッスンを受けたことがなく、経験もない人。
- レギュラー・ダンサー：サルサのレッスンを受けたことがあり、少なくとも1年以上の練習経験がある人。
各ユーザは，8つのエクササイズを行う．各エクササイズでは，サルサの音楽が流れ，VP（バーチャル・パートナー）はそれに合わせて動く．音楽に合わせて，VP が 2 回ごとにダンスパターンを変えるように誘導する．各エクササイズの時間は60秒程度で，その間音楽のリズムと誘導課題に合わせて，常に身体を動かす．評価基準は各エクササイズとも同じ．トレーニングの難易度を少し変わる．
テンポはユーザに刺激を与えるために変化させるが，一貫した分析を行うためにトレーニングの最初と最後は同じにしている．短いチュートリアルの準備の後、各参加者は8つの演習を行い、最終的なスコアを計算．40人のユーザが8つのエクササイズを行った結果、データベースには320のモーションキャプチャー・シーケンスが記録され、それぞれが6ポイント・スケルトンの4500フレームとして記録された．
運動解析の方法
参加者の動きを評価するために、Musical Motion FeaturesとLaban Movement Analysisの2つの有名な動作解析システムを使用．
ミュージカルモーションフィーチャ - MMF
サルサは、動きが音楽や相手との相関性が高い特定のタイプのダンスである．
MMFは，サルサダンスに不可欠な3つのスキル（リズム，ガイダンス，スタイル）に関して，モーションデータを分類するのに優れた性能を示す．
ラバン動作分析 - LMA
一連のダンス動作の様式的・幾何学的特性の多様性を捉えるために戦略的に設計されたものであり，フォークロアダンスの分析・比較に用いられる．
実験結果と考察
誘導とリズム（同期を含む）に関してはMMF特徴量を用い、動作スタイル（努力、ボリューム、スペースを含む）に関してはLMA特徴量を用いた．サルサの学習におけるスキルの向上を評価するために、2回目と最後の練習で，対応するMMFとLMAの特徴の値を比較した．最初のエクササイズは，ダンサーがVR環境に慣れるためのトレーニングステップとして機能しているため，使用していない．
MMF特徴量：誘導とリズム
レギュラー・ダンサーのMMF測定値の平均は、MMFスタイリングとガイダンス・スキルに関して、ノン・ダンサーよりも大きな値を示した．レギュラー・ダンサーは長年の経験により、ノン・ダンサーよりも優れた指導を受けており、より広いステップを踏み、より激しく手を動かすなど、踊りに力を入れていることからも想定できる．
また，トレーニングの最初と最後の練習を比較したときに、ノン・ダンサーのガイダンス機能が大幅に改善されたことと、リズミック・エラーが顕著に減少したことが確認できた．これら2つの結果は、非ダンサーのパフォーマンスが向上したことを示しており、本システムがユーザのサルサ学習能力やスキルの向上に役立つという主張を裏付けるものである．
レギュラー・ダンサーのパフォーマンスはわずかに向上し（MMF特徴は比較的変わらない），リズム・エラーが減少した．しかし，彼らのダンス行動がトレーニング中もトレーニング後もあまり変化していないことを示しており、すでに基本的なサルサのステップを知っているので、予想された行動であった．レギュラーダンサーのパフォーマンスの向上のほとんどは、ユーザがシステムに慣れたことに起因していると考えられる．
また，非ダンサーのMMF測定値の標準偏差（std）は、レギュラー・ダンサーのガイダンスに関する測定値よりもはるかに大きい．つまり，非ダンサーの中で、動きや誘導のスキルが大きく変化している．一方、レギュラー・ダンサーは、サルサ・ダンスのシナリオをリードした経験があり、体の動きやジェスチャーをうまくコントロールしているため、動きのバリエーションが少ない．
LMA特徴量：努力、ボリューム、スペース
レギュラーダンサーのLMA特徴量の平均値は、特にエクササイズの初期段階において、ノンダンサーよりも大きな値を示した．これは、通常のダンス経験を持つユーザが、非ダンサーよりもタスクの実行に力を入れていることを意味する．
レギュラー・ダンサーのLMA特徴量の標準偏差（std）がノン・ダンサーよりも大きい．これは、レギュラー・ダンサーの動きはより変化に富み、ノン・ダンサーの動きはよりコンパクトであることを示している．プロのダンサーはより一貫した動きをし、ノン・ダンサーはより大きなバリエーションを持っていると予想される．
しかし，このようなダンサーのモーション測定の特異性には様々な理由がある．実験に必要な最低限の努力をし、VRアプリケーションで必要とされる絶対的に基本的なステップしか行わない非ダンサーとは異なり，ダンサーは自分の動きにより多くの努力をする傾向があり，各ダンサーにはそれぞれのダンススタイル/上達/アクセントがあり，他の人とは異なる可能性があるため，結果としてLMA特徴量の測定値のばらつきが大きくなる．
また，今回の実験に参加したダンサーはVR環境の経験がなく，ノンダンサーは経験があることから、VR経験の有無が参加者のパフォーマンスに大きな影響を与えると考えられる．
非ダンサーのLMA特徴量の標準偏差は，時間が経過しても変化しない．非ダンサーは通常，システムが要求するステップだけを行い，動きを簡略化しすぎるからである．しかし対照的に，レギュラーダンサーのLMA特徴の標準偏差は，後半の演習で収束するようで，彼らの個人的なスタイル，動きの様式的なニュアンス，即興性があることを示す．
まとめ
サルサダンスの練習をシミュレートするVRアプリケーションを設計
VR環境では，ユーザはコントローラを用いて手と手の接触により仮想パートナーと対話し，実際のダンス状況と同様にサルサダンスパターンのトランジションをコントロールする
ユーザーの動作をモーションキャプチャーし、施行されたパフォーマンスを分析するのに十分なデータを提供
システムの実用性を検証するため，実際のサルサの場面のように、ユーザーが特定の時間に特定のジェスチャーで仮想パートナーの動きをリードする、テンポの異なる8つのエクササイズからなる実験を行った．40人の参加者を、ダンス経験の異なる2つのグループ（ノンダンサーとレギュラーダンサー）に分け、それぞれの動きを取得．
MMFとLMAの特徴量を用いてパフォーマンスを評価．
結果、ダンサーではない人のダンススキルが全体的に向上し、トレーニング後にはより均一なプロファイルが得られ、レギュラーダンサーのプロファイルに収束していることが分かった．
この手法にはいくつかの課題がある．VR技術を理解していないユーザにとっては、トレーニングの学習時間が短すぎた．学習時間を長くすることで、ユーザーがより快適にアプリケーションを使いこなせるようになることを期待．将来的には，1ヶ月間，週に2回のトレーニングを行うなど，学習期間をより長くして，パフォーマンスの向上という点でより大きな影響を評価することを目指す．